Danh hiệu magister militum được tạo ra vào thế kỷ 4, khi Hoàng đế Constantinus Đại đế đoạt lấy chức năng quân sự của các pháp quan thái thú. Ban đầu khi hai chức vụ này được tạo ra thì một là người đứng đầu lực lượng bộ binh gọi là magister peditum ("Trưởng quan bộ binh"), và người còn lại trông coi lực lượng kỵ binh danh giá hơn gọi là magister equitum ("Trưởng quan kỵ binh"). Danh hiệu sau này đã tồn tại từ thời kỳ Cộng hòa La Mã trong vai trò như một viên chỉ huy thứ hai của nhà độc tài La Mã.

Dưới thời những người kế vị Constantinus, danh hiệu cũng được lập ở mức độ lãnh thổ: magistri peditum và magistri equitum đều được bổ nhiệm cho từng viên pháp quan thái thú (per Gallias, per Italiam, per Illyricum, per Orientem) và ngoài ra thêm cả Thracia và đôi lúc là châu Phi. Thỉnh thoảng, các chức vụ đó sẽ được kết hợp dưới một người duy nhất mà sau gọi là magister equitum et peditum hoặc magister utriusquae militiae ("Trưởng quan cả hai lực lượng"). Như vậy thì họ đều trực tiếp chỉ huy binh đoàn chiến trường cơ động địa phương của comitatenses chủ yếu gồm kỵ binh đóng vai trò như một lực lượng phản ứng nhanh. Magistri khác còn lại vẫn nằm dưới quyền điều động trực tiếp của Hoàng đế và được gọi là praesenti ("thay mặt" Hoàng đế). Đến cuối thế kỷ 4, các chỉ huy khu vực chỉ đơn giản gọi là magister militum.

Tại Đế quốc Tây La Mã, "tổng tư lệnh" đôi khi được bổ nhiệm với danh hiệu magister utriusquae militiae. Chức vị oai hùng này thường là quyền lực đằng sau ngai vàng do các quyền thần Stilicho, Ricimer và một số khác nắm giữ. Ở phía Đông La Mã, có hai vị tướng cấp cao được bổ nhiệm làm magister militum praesentalis. Trong suốt triều đại của Hoàng đế Justinianus I, với sự gia tăng các mối đe dọa quân sự và sự mở rộng của Đế quốc Đông La Mã, có ba chức vụ mới được lập ra: magister militum per Armeniam ở các tỉnh vùng Armenia, trước đây là một phần quyền hạn của magister militum per Orientem, magister militum per Africam ở các tỉnh châu Phi vừa được tái chiếm vào năm 534, với một cấp dưới là magister peditum và magister militum Spaniae (khoảng năm 562).

Xuyên suốt thế kỷ 6, các cuộc khủng hoảng nội bộ và bên ngoài tại các tỉnh thường xuyên đòi hỏi phải có sự kết hợp tạm thời của cơ quan dân sự tối cao với chức vụ magister militum. Trong việc thành lập các Trấn khu Ravenna và Carthage vào năm 584, thói quen này đã đặt nền móng cho sự biểu hiện thường trực đầu tiên của nó. Thật vậy, sau khi để mất các tỉnh phía đông trong cuộc chinh phục của người Hồi giáo vào những năm 640, những binh đoàn còn sống sót và chỉ huy của họ đã lập nên themata đầu tiên. Các viên chỉ huy quân sự tối cao đôi khi cũng nắm lấy danh hiệu này ở nước Ý đầu thời Trung Cổ, ví dụ như trong Lãnh thổ Giáo hoàng và tại Venezia mà viên Tổng trấn đã tuyên bố mình là người kế thừa chức Trấn thủ Ravenna.